Automated Integration Testing – an Evaluation of CruiseControl.NET

Testing is an important task of the software development process. It gives assurance of many things, for example that the software executes correctly or that its performance is within acceptable limits – it gives assurance of the quality for the software. Despite this fact, testing is the task that often gets down prioritized because of budget constraints or time shortage. Often this depends on the fact that testing must be performed manually and thus becomes a very time consuming task. Automation is something seen as a potential and partial solution to this problem. This report presents the results of using a continuous integration server – CruiseControl.NET – and the NUnit framework, as a means for automating the integration testing in a specially selected project at a Swedish IT-company. It also presents evaluation results regarding the use of CruiseControl.NET as a pure software testing tool. The evaluation was performed in parallel with the work of automating the integration testing. With the approach presented above, the integration testing could be partially automated. However, it was also confirmed that an initial investment is needed to achieve even, only a partial automation of the software testing. Further it was established that CruiseControl.NET has some potential of increasing cost-effectiveness for the integration testing as well as contributing to a higher, final quality of developed software. Automatisk integrationstestning – en utvärdering av CruiseControl.NET Sammanfattning Testning är en viktig del i processen för programvaruutveckling. Den ger försäkran om många saker, till exempel att programvaran exekverar korrekt eller att dess prestanda är inom accepterbara gränser – den ger försäkran om gällande kvalité för programvaran. Trots detta är testningen den del som ofta blir nedprioriterad på grund av budgetbegränsningar eller tidsbrist. Ofta beror detta på att testningen måste utföras manuellt och därför kan bli en mycket tidskrävande uppgift. Automatisering är sett som en potentiell och partiell lösning till detta problem. Denna rapport presenterar resultaten av att använda en ”kontinuerlig integrations”-server – CruiseControl.NET – samt NUnit-ramverket för att automatisera integrationstestningen i ett speciellt utvalt projekt, på ett svenskt IT-företag. Den presenterar också resultat rörande en utvärdering av CruiseControl.NET sedd som ett rent testverktyg. Utvärderingen utfördes parallellt med arbetet att automatisera integrationstestningen. Med tillvägagångssättet presenterat ovan kunde integrationstestningen delvis automatiseras. Emellertid bekräftades också att det krävs en initial investering för att implementera även en, endast delvis automatisering av programvarutestningen. Vidare konstaterades att CruiseControl.NET, till en viss del har potential att öka kostnadseffektiviteten för integrationstestningen så väl som att bidra till en högre, slutlig kvalité på den utvecklade programvaran.